Sau khi ông từ chức và thất bại của Công đảng trong cuộc bầu cử, Menachem Begin thuộc đảng Likud giành thắng lợi năm 1977. Cho tới năm 1984 Rabin là một thành viên của Knesset và tham gia các công việc đối ngoại và Uỷ ban Quốc phòng. Từ năm 1984 tới năm 1990, ông làm Bộ trưởng Quốc phòng trong nhiều chính phủ thống nhất quốc gia của các thủ tướng Yitzhak Shamir và Shimon Peres.

Khi Rabin nhậm chức, quân đội Israel vẫn còn ở sâu trong Liban. Ông đã ra lệnh rút quân về một "Vùng An ninh" ở phía Liban của biên giới. Quân đội Nam Liban hoạt động mạnh trong vùng này, cùng với Các lực lượng phòng vệ Israel.

Khi cuộc Intifada lần thứ nhất diễn ra, Rabin đã chấp nhận những biện pháp cứng rắn để ngăn chặn những người biểu tình, thậm chí cho phép sử dụng "Vũ lực, sức mạnh và đánh đập," với người biểu tình.[10][11] Rabin "kẻ bẻ xương" đã được sử dụng như một hình ảnh quốc tế.[12] Sự thất bại của chính sách "Iron Fist" cộng với hình ảnh đang ngày càng xấu đi của Israel trên trường quốc tế cùng việc Jordan cắt các quan hệ pháp lý và hành chính với Bờ Tây và việc Hoa Kỳ công nhân PLO là đại diện của người Palestine đã buộc Rabin phải tìm kiếm một sự chấm dứt bạo lực thông qua đàm phán và đối thoại với PLO.[13][14]

Năm 1990 tới 1992, Rabin một lần nữa là một thành viên Knesset và tham gia công việc Đối ngoại và Uỷ ban Quốc phòng.